本文的重点是概念证明，机器学习（ML）管道，该管道从低功率边缘设备上获取的压力传感器数据中提取心率。 ML管道包括一个UPS采样器神经网络，信号质量分类器以及优化的1D横向扭转神经网络，以高效且准确的心率估计。这些型号的设计使管道小于40 kb。此外，开发了由UPS采样器和分类器组成的杂种管道，然后开发了峰值检测算法。管道部署在ESP32边缘设备上，并针对信号处理进行基准测试，以确定能量使用和推理时间。结果表明，与传统算法相比，提出的ML和杂种管道将能量和时间减少82％和28％。 ML管道的主要权衡是准确性，平均绝对误差（MAE）为3.28，而混合动力车和信号处理管道为2.39和1.17。因此，ML模型显示出在能源和计算约束设备中部署的希望。此外，ML管道的较低采样率和计算要求可以使自定义硬件解决方案降低可穿戴设备的成本和能源需求。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
深度学习技术的最新进展引发了地面车辆的自主权的根本性进步。定期用于监视，监视和其他常规任务的海洋沿海自动级别的表面车辆（ASV）可以从这种自治中受益。长期的深海运输活动是额外的机会。这两个用例的地形非常不同 - 第一个是沿海水域 - 具有许多障碍，结构和人类的存在，而后者大多没有这样的障碍。环境条件的变化都是两种地形的共同点。绘制此类地形的强大标记数据集对于提高可以推动自主权的情境意识至关重要。但是，只有此类海事数据集有限，这些数据集主要由光学图像组成。虽然，长浪红外（LWIR）是对极端光条件下有助于的光谱的强烈补充，但目前尚不存在带有LWIR图像的标记的公共数据集。在本文中，我们通过在不同条件下呈现在沿海海上环境中捕获的2,900多个LWIR分段图像的标签数据集来填补这一空白。这些图像使用实例分割标记，并分为七个类别 - 天空，水，障碍物，生活障碍，桥梁，自我和背景。我们还评估了三个深度学习体系结构（UNET，PSPNET，DEEPLABV3）的数据集，并对其功效提供了详细的分析。尽管数据集专注于沿海地形，但可以同样有助于深海用例。这种地形的流量将较小，在混乱环境中训练的分类器将能够有效地处理稀疏场景。我们与研究界分享此数据集，希望它刺激新的场景理解海上环境中的能力。
translated by 谷歌翻译
基于神经网络的数据驱动操作员学习方案在计算力学中显示出巨大的潜力。 DeWonet是一种这样的神经网络体系结构，由于其出色的预测能力，它广泛赞赏。话虽如此，在确定性框架中设定的deponet架构面临过度拟合，概括不良和其不变形式的风险，因此无法量化与预测相关的不确定性。我们在本文中提出了一种用于操作员学习的跨贝叶斯迪维诺内特（VB-Deeponet），可以在很大程度上减轻deponet架构的这些局限性，并为用户提供有关预测阶段相关不确定性的更多信息。贝叶斯框架中设定的神经网络背后的关键思想是，神经网络的权重和偏见被视为概率分布而不是点估计，并且使用贝叶斯推理来更新其先前的分布。现在，为了管理与近似后验分布相关的计算成本，提出的VB-Deeponet使用\ textIt {变异推理}。与马尔可夫链蒙特卡洛方案不同，变异推理具有考虑高维后分布的能力，同时保持相关的计算成本较低。涵盖力学问题的不同示例，例如扩散反应，重力摆，对流扩散，以说明了所提出的VB-Deeponet的性能，并且在确定性框架中也对Deeponet集进行了比较。
translated by 谷歌翻译
基于变压器的模型广泛用于自然语言处理（NLP）。变压器模型的核心是自我关注机制，它捕获了输入序列中的令牌对的相互作用，并在序列长度上逐步取决于逐行。在更长的序列上培训此类模型是昂贵的。在本文中，我们表明，基于局部敏感散列（LSH）的伯努利采样注意机制降低了这种模型到线性的二次复杂性。我们通过考虑自我关注作为与Bernoulli随机变量相关的单独令牌的总和来绕过二次成本，原则上可以通过单个哈希进行一次（尽管在实践中，这个数字可能是一个小常数）。这导致了有效的采样方案来估算依赖于LSH的特定修改的自我关注（以便在GPU架构上进行部署）。我们在标准512序列长度上评估了胶水基准的算法，在那里我们看到了相对于标准预磨削变压器的良好性能。在远程竞技场（LRA）基准中，为了评估长序列的性能，我们的方法实现了与Softmax自我关注的结果一致，但具有相当大的加速和内存节省，并且通常优于其他有效的自我关注方法。我们的代码可以在https://github.com/mlpen/yoso获得
translated by 谷歌翻译
我们通过在调整方案中找到有效的相似性测量，提出了一种朝向弦景观的真空退化问题的新方法。使用一百万个Calabi-yau歧管作为具体例子，少量机器学习和暹罗神经网络的范式代表它们作为R（3）的点，其中两个歧管之间的相似度得分是它们之间的欧几里德距离r（3）代表。使用这些方法，我们可以通过仅在几百个数据点上进行培训，将搜索空间压缩以获得极度罕见的歧管，以百分比在原始数据的一个百分比内。我们还展示了如何应用这些方法来表征真空代表的“典型性”。
translated by 谷歌翻译